跳到主要内容

迁移学习的基本概念

1. 迁移学习的问题形式化​

迁移学习中有两个概念最为核心:领域(Domain) 和 任务(Task)。理解这两个概念,是理解迁移学习整个知识体系的起点。

1.1 领域(Domain)​

领域是进行学习的主体。它主要由两部分构成:数据 和 生成这些数据的概率分布。

形式化地,一个领域可以记作:

D={X,P(X)}\mathcal{D} = \{\mathcal{X}, P(X)\}

其中 X\mathcal{X} 表示特征空间, P(X)P(X) 表示特征空间上的边缘概率分布, X={x1,x2,…,xn}∈XX = \{x_1, x_2, \dots, x_n\} \in \mathcal{X} 表示具体的样本。

在迁移学习中,我们通常同时考虑两个领域:

  • 源领域(Source Domain) Ds\mathcal{D}_s:拥有丰富标注信息、可供学习的领域,也是要迁移的知识的来源。
  • 目标领域(Target Domain) Dt\mathcal{D}_t:需要赋予"知识"、进行标注或预测的领域,也是要迁移到的对象。

迁移学习之所以有意义,本质上是因为 Ds≠Dt\mathcal{D}_s \ne \mathcal{D}_t,即源领域和目标领域在特征空间或概率分布上存在差异。

1.2 任务(Task)​

任务是学习的目标。一个任务可以形式化为:

T={Y,f(⋅)}\mathcal{T} = \{\mathcal{Y}, f(\cdot)\}

其中 Y\mathcal{Y} 是标签空间, f(⋅)f(\cdot) 是一个决策函数(也称目标预测函数),它需要从训练数据中学习得到。从概率论角度, f(x)=P(y∣x)f(x) = P(y \mid x) 可以视为条件概率分布。

对于同一个领域,任务不一定唯一;对于同一个任务,也可能来源于不同的领域。

1.3 迁移学习的形式化定义​

迁移学习(Transfer Learning) :给定一个有标记的源领域 Ds={(xi,yi)}i=1n\mathcal{D}_s = \{(x_i, y_i)\}_{i=1}^{n} 和一个学习任务 Ts\mathcal{T}_s,以及一个目标领域 Dt={xj}j=1m\mathcal{D}_t = \{x_j\}_{j=1}^{m} 和相应任务 Tt\mathcal{T}_t。当 Ds≠Dt\mathcal{D}_s \ne \mathcal{D}_t 或 Ts≠Tt\mathcal{T}_s \ne \mathcal{T}_t 时,利用 Ds\mathcal{D}_s 与 Ts\mathcal{T}_s 中的知识去帮助学习目标领域上的预测函数 ft(⋅)f_t(\cdot),即为迁移学习。

具体来说,两个领域不一致体现在:

  • 特征空间不同: Xs≠Xt\mathcal{X}_s \ne \mathcal{X}_t,称为 异构迁移学习(Heterogeneous TL) 。
  • 特征空间相同但边缘概率不同: Ps(X)≠Pt(X)P_s(X) \ne P_t(X),即 领域自适应(Domain Adaptation) 。
  • 标签空间不同: Ys≠Yt\mathcal{Y}_s \ne \mathcal{Y}_t。
  • 条件概率不同: Ps(Y∣X)≠Pt(Y∣X)P_s(Y \mid X) \ne P_t(Y \mid X)。

2. 迁移学习的必要性​

为什么需要迁移学习?王晋东在书中给出了几个重要动机:

2.1 大数据与少标注的矛盾​

深度学习时代,数据规模呈爆炸式增长,但高质量标注却极度稀缺。医疗影像、工业质检、遥感识别等场景中,人工标注成本极高,往往一个样本的标注需要专家参与。此时,将其他领域丰富标注数据中的"知识"迁移到目标领域,成为一种自然的选择。

2.2 大数据与弱计算的矛盾​

训练一个 BERT-Large 需要数百 GPU 天,训练 GPT 系列更是消耗数百万美元。普通用户和研究者无力承担从头训练。使用预训练模型 + 微调,本质上就是一种迁移学习。

2.3 有限模型与普适化需求的矛盾​

一个模型往往只在特定分布下表现良好,当部署到新的场景时性能骤降(即 分布偏移,Distribution Shift )。迁移学习提供了一种让模型 跨场景、跨任务泛化 的思路。

2.4 个性化需求​

例如推荐系统中,我们希望针对每个用户提供个性化服务,但每个用户的数据都很少。将全局用户的知识迁移到个体用户,正是个性化迁移的典型应用。

3. 迁移学习与相关概念的关系​

初学者常常混淆迁移学习与其他学习范式,这里做一次澄清。

范式与迁移学习的关系
传统机器学习假设训练/测试数据独立同分布;迁移学习打破这一假设
多任务学习同时学多个任务,任务地位对等;迁移学习通常有明确的源和目标
领域自适应迁移学习的一个子集,特指边缘分布不同、标签空间相同
领域泛化目标域数据完全不可见,属于更困难的迁移问题
元学习"学会学习",强调快速适应新任务,与迁移学习有交叉
终身学习强调在时间维度上不断累积知识,避免灾难性遗忘

4. 迁移学习的分类​

按照不同的角度,迁移学习可以有多种分类方式。

4.1 按目标域标签的可用性​

  • 归纳式迁移学习(Inductive TL) :目标域有少量标注数据。
  • 直推式迁移学习(Transductive TL) :目标域无标注,但源域有标注,特征空间与任务通常一致。领域自适应是其典型代表。
  • 无监督迁移学习(Unsupervised TL) :源域和目标域均无标注,常用于聚类、降维等场景。

4.2 按特征空间​

  • 同构迁移学习 : Xs=Xt\mathcal{X}_s = \mathcal{X}_t。
  • 异构迁移学习 : Xs≠Xt\mathcal{X}_s \ne \mathcal{X}_t,如文本 → 图像的跨模态迁移。

4.3 按迁移方法​

  • 基于样本(Instance-based) :对源域样本重加权。
  • 基于特征(Feature-based) :学习一个共同的特征表示。
  • 基于模型(Parameter/Model-based) :共享或迁移模型参数。
  • 基于关系(Relation-based) :迁移领域之间的关系结构。

5. 迁移学习的关键问题​

无论采用何种具体方法,迁移学习都需要回答三个核心问题:

  1. 何时迁移(When to transfer) :并非任何情境都适合迁移,若源域和目标域差异过大,可能出现 负迁移(Negative Transfer) ,反而损害性能。
  2. 何处迁移(Where to transfer) :即选择合适的源域、以及模型/特征中的哪些部分进行迁移。
  3. 如何迁移(How to transfer) :设计具体的迁移算法,如样本加权、特征对齐、参数共享、对抗训练等。

References​

[1]. 王晋东,陈益强. 迁移学习导论(第二版). 电子工业出版社, 2022.

[2]. Pan S J, Yang Q. A Survey on Transfer Learning. IEEE TKDE, 2010.